Motion magnification

https://dl.acm.org/action/downloadSupplement?doi=10.1145%2F1073204.1073223&file=pps015.mp4

We present motion magnification, a technique that acts like a microscope for visual motion. It can amplify subtle motions in a video sequence, allowing for visualization of deformations that would otherwise be invisible. To achieve motion magnification, we need to accurately measure visual motions, and group the pixels to be modified. After an initial image registration step, we measure motion by a robust analysis of feature point trajectories, and segment pixels based on similarity of position, color, and motion. A novel measure of motion similarity groups even very small motions according to correlation over time, which often relates to physical cause. An outlier mask marks observations not explained by our layered motion model, and those pixels are simply reproduced on the output from the original registered observations.The motion of any selected layer may be magnified by a user-specified amount; texture synthesis fills-in unseen "holes" revealed by the amplified motions. The resulting motion-magnified images can reveal or emphasize small motions in the original sequence, as we demonstrate with deformations in load-bearing structures, subtle motions or balancing corrections of people, and "rigid" structures bending under hand pressure.

我々は、視覚的な動きに対する顕微鏡のような働きをする技術である、動き拡大法を紹介する。これはビデオシーケンス中の微妙な動きを増幅することができ、そうでなければ見えないような変形の可視化を可能にする。動き拡大を実現するためには、視覚的な動きを正確に測定し、修正するピクセルをグループ化する必要がある。最初の画像登録ステップの後、特徴点の軌跡のロバストな解析によって動きを計測し、位置、色、動きの類似性に基づいて画素をセグメント化する。動きの類似性の新しい尺度は、非常に小さな動きであっても、しばしば物理的原因に関係する経時的な相関に従ってグループ化する。選択されたレイヤーの動きは、ユーザが指定した量だけ拡大することができ、テクスチャ合成は、増幅された動きによって明らかにされた未知の「穴」を埋める。結果として得られる動き拡大画像は、元のシーケンスにおける小さな動きを明らかにしたり、強調したりすることができる。私たちは、荷重を支える構造物の変形、人の微妙な動きやバランス修正、手の圧力で曲がる「硬い」構造物などで実証している。